Weld, dengan kesihatan dan tekanan yang lemah, bersara daripada politik pada 1866, dan kembali ke England pada tahun berikutnya. Bagaimanapun, kesihatannya bertambah baik, dan beliau mula bekerja semula. Pada tahun 1869 beliau menerbitkan Notes on New Zealand Affairs, dan pada bulan Mac tahun sama, beliau memulakan kerjaya sebagai gabenor kolonial British dengan pelantikan bagi jawatan Gabenor Australia Barat.

Gabenor Australia Barat

Weld tiba di Australia Barat pada bulan September 1869. Beliausegera memulakan satu siri lawatan ke negeri itu, yang menyaksikan beliaumengembara kira-kira 1,900 km menunggang kuda dalam enam bulan pertamanya memegang jawatan. Terkesan dengan pengasingan negeri, beliau menggesa penubuhan talian telegraf dan penambahbaikan kepada pengangkutan. Pada Mac 1870, beliau menghantar John Forrest untuk meneroka dan meninjau laluan yang mungkin bagi saluran telegraf antara Albany dan Adelaide. Ini kemudiannya dibina, dan menjelang 1874, negeri ini mempunyai lebih 1400 km talian telegraf operasi. Weld juga menyelia penubuhan perkhidmatan kapal wap di sepanjang pantai, dan permulaan sistem rel.

Weld melihat pelantikannya sebagai gabenor sebagai mandat untuk memulakan perubahan perlembagaan yang serupa dengan apa yang dicapai di New Zealand. Dengan sokongan penuh semangat Setiausaha Tanah Jajahan Frederick Barlee, beliau mula mempromosikan kerajaan perwakilan. Dalam peluang pertama, Weld memperkenalkan rang undang-undang yang memperuntukkan pemilihan 12 Ahli Majlis Perundangan, untuk duduk bersama enam ahli rasmi dan penama. Rang Undang-undang itu akhirnya diluluskan pada 1 Jun 1870. Barlee kemudiannya mula bergelut bagi kerajaan yang bertanggungjawab, dan pada 1874. Majlis Perundangan meluluskan resolusi yang memintanya. Walaupun Weld tidak menyangka bahawa Australia Barat bersedia bagi kerajaan bertanggungjawab, beliaumenerima keadaan itu dan menyampaikan permintaan itu kepada Pejabat Tanah Jajahan di London. Pejabat Tanah Jajahan menentang keras pemberian kerajaan bertanggungjawab, dan mengkritik Weld kerana membenarkan keadaan itu timbul. Pada 1874, Weld bercuti ke New Zealand untuk menjaga hal ehwal perkongsiannya. Beliaudikatakan telah berkata, selepas pemergiannya, "Akhirnya beliaubergerak", merujuk kepada kemajuan yang dilihatnya di Australia Barat.[7] Sekembalinya ini, beliau telah dipindahkan ke jawatan Gabenor Tasmania, dan isu kerajaan yang bertanggungjawab telah digugurkan sehingga 1890.

Weld menjawat jawatan gabenor Tasmania dari 1875 hingga 1880. Beliau mendapati peranan itu tidak begitu berat berbanding di Australia Barat kerana Tasmania sudah mempunyai kerajaan yang bertanggungjawab, dan tugas utamanya ialah mempengerusikan mesyuarat Majlis Eksekutif. Dari 1880 hingga 1887, beliau ialah Gabenor Negeri-Negeri Selat yang terdiri daripada Melaka, Pulau Pinang dan Singapura. Louch (1966) menulis tentang tujuh tahun Weld di Singapura: "Di sana, dengan kekayaan pengalamannya, beliaumendapati skop sepenuhnya untuk bakatnya sebagai pentadbir kolonial, dan di mana beliaupaling diingati sekarang." Beliau memperoleh kebesaran Darjah St Michael dan St George pertama: CMG (1875), kemudian KCMG (1880) dan akhirnya GCMG (1885).

Gabenor Negeri-Negeri Selat

Pada 1880, Sir Frederick Weld tiba di Negeri-Negeri Selat. Beliau mula mengambil minat peribadi terhadap pembangunan negeri-negeri Melayu. Pada pertengahan tahun 1881, Weld melawat bandar Taiping di Perak. Beliau mendapati "pendapatan meningkat dan segala-galanya berjalan dengan baik..." tetapi "buruh bagi kerja-kerja awam dan jalan raya dan untuk membangunkan industri dan sumber pendapatan lain selain perlombongan bijih timah," keluhnya, "ialah keperluan yang besar." Beliau juga melaporkan bahawa:

"Bekalan air Taiping dari bukit (Maxwell), jalan ke Krian yang akan menghubungkan pusat bandar Taiping dengan Province Wellesley, dan rel dan trem dari Taiping ke pelabuhan (Port Weld, yang dinamakan sempena namanya) adalah antara kerja-kerja seterusnya yang paling perlu dilakukan. Pekan Taiping telah banyak diperbaiki sejak kebakaran, yang berlaku lebih setahun yang lalu; jalan-jalan baru telah dibentangkan dengan lebar yang agak besar, dan kelas rumah yang lebih baik telah dibina."

Pembinaan kereta api Taiping–Port Weld merupakan permulaan kepada transformasi besar yang mengubah secara radikal landskap Semenanjung Tanah Melayu. Ia juga membawa kemasukan pertama orang India (terutamanya Tamil) dan Ceylon ke Perak. Sir Frederick Weld berada di Taiping sekali lagi pada 1883, di mana beliau "memeriksa segala-galanya". Beliau menghabiskan masa menyusuri laluan kereta api Port Weld, kemudian dalam proses pembinaan, "di atas trak di belakang Enjin". Beliau juga melaksanakan rancangan untuk membina talian telegraf di sepanjang jalan yang menghubungkan Taiping dengan Province Wellesley. Ia hampir siap selepas itu sebuah kereta api di sepanjang laluan yang sama akan dibina.